Label Over Logic? How Source Cues Bias Human Fallacy Judgments More Than LLMs
来源标签如何更强烈地扭曲人类的逻辑谬误判断？LLM 更稳健
🧭 人类与LLM在来源标签偏见上的对比研究
The Pennsylvania State University
来源标签（人类/AI）显著影响人类的逻辑谬误评估，而LLM评价保持相对稳定
📌 工作参考价值（4 点）
- 人工评估去来源化：在 UGC 审核、推荐理由质量评估、对话回复打分等场景，不要向评审者展示内容来源（人类/AI），避免“人类写的就更可信”的偏见
- LLM 做先验评判：构建人类反馈对齐（RLHF）数据时，可先用 LLM 对候选内容进行无来源偏见的逻辑/质量评分，再让人工仅针对 LLM 标记的争议点复核，提升标注一致性
- 推荐理由的标签策略：若想提升用户信任，对优质推荐理由可弱化“AI 生成”标签或强调“人工润色”，对低质理由无需披露来源；反方向则可利用标签警示用户批判性看待 AI 内容
- 多智体协作中的信源加权：Agent A 收到标明“人类撰写”或“AI 辅助”的信息时，可内置 LLM 仲裁器重新评估逻辑/事实，降低信源标签对后续决策的链式影响